Flide: Accelerating Decision Inference with Exact State Forking
Flide：通过精确状态分叉加速决策推理
🧭 Agent 决策推理加速 · 精确状态分叉
National University of Singapore · University of Oxford
提出支持决策模型分支请求的推理引擎，通过扁平化执行和ForkAttention实现精确且高效的批量决策
📌 工作参考价值（4 点）
- 若业务中有大量「同一上下文下对多个候选项打分/判断」的场景（如搜索 query 质量过滤、商品标题合规审查、广告创意审核），可参考 Flide 将逻辑分支树与物理 token 流解耦的思路，把共享前缀只计算一次，分支部分扁平化执行，避免重复 forward 或 cache 复制。
- ForkAttention 用 GPU-resident 索引控制注意力掩码，保证每个分支与单独推理数值完全一致；在设计自己的批量推理服务时，可借鉴这种「逻辑分支 + 物理连续序列 + 掩码隔离」模式，在标准 attention 和 Gated DeltaNet 层上均可实现，适合混合架构模型。
- 对于多轮 agent 交互中逐步扩展历史（如用户不断追问、筛选条件动态增加），可利用其 checkpoint 机制从已保存状态恢复，只计算新增部分，显著降低长会话延迟，这对电商导购、客服 agent 等场景很有价值。
- 如果业务对决策概率的精确性有要求（如风控、A/B 测试），需避免标准批量推理导致的概率偏移，Flide 的「精确算术等价」设计提供了可复用的工程原则：把分支拓扑放入 GPU 元数据，配合预录制执行图，兼顾吞吐与一致性。